Real-Time Navigation of Unmanned Vehicle based on Neural Networks Classification of Arrow Markings

Από τη δεκαετία του 1970, τα αυτόνομα οχήματα χρησιμοποιούνται ευρέως, για εξερεύνηση βαθέων υδάτων και διαστήματος καθώς και σε όλα σχεδόν τα αεροσκάφη. Τις τελευταίες δεκαετίες, έχει καταγραφεί αυξανόμενο ενδιαφέρον για την εκμετάλλευση μη επανδρωμένων οχημάτων σε τομείς όπως η παρακολούθηση του περιβάλλοντος, η αέρια επιτήρηση για εμπορικές πτήσεις, η αστυνόμευση, οι γεωφυσικές έρευνες, η αντιμετώπιση φυσικών καταστροφών κι εντοπισμός θυμάτων, η επιστημονική έρευνα, οι επιχειρήσεις έρευνας και διάσωσης, η αρχαιολογία, η περιπολία σε θάλλασες, χαρτογράφηση βυθού, διαχείριση κυκλοφορίας κ.λπ. Ανεξάρτητα από τον τομέα (δηλαδή εναέριο, επίγειο ή επιφανειακό) στον οποίο ανήκουν, τα βασικά στοιχεία που τα διακρίνουν ως αιχμή της τεχνολογίας τους είναι ο παρεχόμενος βαθμός αυτονομίας (δηλ. ικανότητα λήψης αποφάσεων χωρίς ανθρώπινη παρέμβαση), την αντοχή και το ωφέλιμο φορτίο που μπορούν να υποστηρίξουν. Ένα πολύπλοκο έργο που αποτελεί προϋπόθεση στις αποστολές αυτών των οχημάτων είναι η αυτόνομη πλοήγηση τους. Ένα αυτόνομο κινητό ρομπότ κατασκευάζει ένα ισχυρό μοντέλο του περιβάλλοντος (χαρτογράφηση), εντοπίζεται στον χάρτη (τοποθέτηση), ελέγχει τη μετακίνηση από τη μια τοποθεσία στην άλλη (πλοήγηση) και εκτελεί εργασίες που έχουν ανατεθεί. Βλέποντας ένα βήμα παραπέρα, η αυτόνομη και αυτόνομη οδήγηση επιβάλλει έναν νέο ερευνητικό χώρο όπου τα οχήματα μπορούν να παρακολουθούν τα οδικά σήματα ή τα σήματα κυκλοφορίας και να λαμβάνουν τις κατάλληλες αποφάσεις για την πλοήγησή τους στο διάστημα. Η ταξινόμηση εικόνων στην πλοήγηση σε πραγματικό χρόνο είναι μια εργασία που απαιτεί χρόνο και καταναλώνει πόρους. Σε αυτή τη διατριβή, στοχεύουμε να πλοηγήσουμε ένα μη επανδρωμένο όχημα σε άγνωστο μονοπάτι αναγνωρίζοντας και ακολουθώντας τα σημάδια και τις πινακίδες με βέλη. Για την αναγνώριση εικόνας χρησιμοποιήθηκε ένα συνελικτικό νευρωνικό δίκτυο, το οποίο εκπαιδεύεται με ένα σύνολο δεδομένων από σημάνσεις βέλους. Για τη δημιουργία δεδομένων, χρησιμοποιήθηκε ένα Turtlebot 2 μαζί με μια κάμερα raspberry pi. Παρουσιάζεται μια συγκριτική αξιολόγηση των συνελικτικών νευρωνικών δικτύων, π.χ. VGG-16 και VGG-19. Τέλος, τα πειράματα σε πραγματικό χρόνο εκτελέστηκαν με Turtlebot2 σε πλοήγηση σε πραγματικό χρόνο και συζητήθηκαν.Since the 1970s, autonomous robots have been in daily use at any altitude, for deep-sea and space exploration as well as in almost all aircraft. The last decades, an increasing interest has been recorded on the exploitation of unmanned vehicles in fields such as environmental monitoring, commercial air surveillance, domestic policing, geophysical surveys, disaster relief, scientific research, civilian casualties, search and rescue operations, archeology, maritime patrol, seabed mapping, traffic management, etc. Regardless the domain (i.e., aerial, ground or surface) that they belong to, the key elements that distinguish them as the leading edge of their technology are the provided degree of autonomy (i.e., the ability to make decisions without human intervention), the endurance and the payload that they can support. A complicated task which is a prerequisite in robotic missions is the autonomous navigation of the robots. An autonomous mobile robot constructs a robust model of the environment (mapping), locates itself on the map (localization), governs the movement from one location to the other (navigation) and accomplishes assigned tasks. Going a step further the autonomous and self-driving impose a new research area where vehicles can monitor the road marks or the traffic signs and take the proper decisions for their navigation in space. The image classification in real-time navigation is latency sensitive and resource consuming task. In this Thesis, we aimed to navigate an unmanned vehicle on an unknown path by recognizing and following arrow markings and signs. For the image recognition, a CNN was used, which is trained with a dataset of arrow markings. For dataset creation, a Turtlebot 2 was used along with a raspberry pi camera. A benchmarking of convolutional neural networks, i.e. VGG-16 and VGG-19, is presented. Finally, the real-time experiments were executed with a Turtlebot2 in real-time navigation and discussed